Two-Level Softmax Sampling Done Right: Correcting Bias from Size Imbalance and Dispersion
两层 Softmax 采样的正确做法：纠正规模不平衡与离散度偏差
🧭 推荐候选采样 · 两层 softmax 修正
Spotify · SJTU Paris Elite Institute of Technology
提出 S-2LS 和 SD-2LS，修正标准两层 softmax 采样忽略簇规模不平衡与簇内离散度的偏差，几乎无额外计算开销
📌 工作参考价值（4 点）
- 在电商/广告大规模候选召回中，如果采用两阶段 softmax（先 cluster 后 item），注意标准 2LS 的 cluster 概率不是 item 聚合概率；对 cluster 打分时可直接加 log|C| 做 size 校正，避免热门大簇被系统性低估。
- SD-2LS 进一步校正簇内相似度离散度，推荐用 cluster 内 log-sum-exp（而非质心点积）近似 cluster 的 softmax 质量；若担心计算量，可预计算每个 cluster 的 dispersion 项，工程开销可忽略。
- 作为产品 embedding 检索、短视频/商品候选采样、负采样训练中的替代方案，S-2LS/SD-2LS 能降低两阶段采样偏差，提升召回质量与采样保真度。
- 业务中若簇大小极不平衡（头部类目 vs 长尾类目），优先用 S-2LS；若同簇 item embedding 方差大（同簇商品跨价格带/风格），用 SD-2LS。